Un rapport de l'Internet Watch Foundation (IWF) britannique souligne l'inquiétante augmentation du contenu d'abus sexuels sur mineurs (CSAM) généré par l'IA en ligne. Au cours d'une enquête de 30 jours au printemps, 3 512 productions CSAM créées à l'aide de l'IA ont été identifiées sur des forums du dark web, soit une augmentation de 17 % par rapport à la même période de l'année précédente. Le rapport détaille une augmentation de la qualité et de la gravité du contenu, avec une proportion plus importante de scènes impliquant des actes sexuels extrêmes ou explicites. Bien que les vidéos synthétiques ne soient pas encore parfaitement réalistes, les progrès technologiques les rapprochent rapidement de la réalité. Cette tendance à la hausse pose deux principaux défis :

Une nouvelle législation australienne exige des géants de la technologie qu'ils suppriment les images d'abus sexuels sur mineurs générées par l'IA. La réglementation impose aux entreprises technologiques d'examiner et d'améliorer régulièrement leurs outils d'IA. Elle vise à lutter contre le problème des images d'abus sexuels sur mineurs potentiellement générées par les outils d'intelligence artificielle. Le commissaire à la sécurité électronique appelle les entreprises technologiques à réduire les risques liés à leurs produits. L'obligation inclut la suppression des contenus d'abus sexuels sur mineurs par les moteurs de recherche et la prévention de la génération d'images deepfake.